When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation
当教师误导时：感知虚假信号的在线策略蒸馏
🧭 在线策略蒸馏 · 虚假信号过滤 ★ 深度解读
Zhejiang University · ByteDance · Shanghai Artificial Intelligence Laboratory
提出 SA-OPD，通过过滤教师信号中输入无关的虚假成分，提升在线策略蒸馏的可靠性与效果。
📌 工作参考价值（4 点）
- 蒸馏偏差诊断：在推荐/Agent 的序列生成蒸馏中，可借鉴“移除 prompt 后教师信号变化”的探测法，判断教师是否依赖输入无关的语言先验、流行度或格式模板，而非用户/上下文真实需求。
- 选择性掩码策略：通过组合低输入接地性 + 高教师-学生分歧两个条件，精准滤除高冲击虚假更新，保留输入相关监督；推荐场景可类似过滤由标题党、模板短语引入的梯度噪声。
- 动态阈值控制：自适应调节过滤比例（约束 FLMR），防止过度丢弃有用信号，适合在训练过程不平稳的视觉或复杂 Agent 交互场景中使用。
- 工程实现轻量：无需额外网络参数，仅增加一次无 prompt 的 log-prob 评估，易于集成到现有 On-Policy 蒸馏流水线中。